Коннектом. Как мозг делает нас тем, что мы есть - Себастьян Сеунг

…распространяется слева направо. Похоже на лежащий на боку перцептрон, правда? Но хотя синаптическую цепочку можно рассматривать как частный случай перцептрона, она во многом отличается от типичного перцептрона, который используется для моделирования человеческого восприятия. Нейроны одного слоя перцептрона обычно детектируют различные стимулы, поэтому каждый из них соединен со своим поднабором нейронов из предыдущего слоя. (А если они подключены к одним и тем же нейронам, синапсы различаются по своей силе.) Все нейроны одного слоя синаптической цепочки активируются вместе, так что их связям с предыдущим слоем нет нужды быть различными. Синаптическую цепочку многие описывали математическими моделями (см, например: Amari, 1972; Abeles, 1982). Схожие модели в 1980-х годах построил американский физик-теоретик Джон Хопфилд (John Hopfield).

Теорию коннекционизма создавало… Идею и название клеточного ансамбля предложил Дональд Хебб (Hebb, 1949). Первые компьютерные модели нейронных сетей с участием клеточных ансамблей относятся к 1950-м годам. Английский теоретик Дэвид Марр и японский теоретик Шуничи Амари – два выдающихся исследователя, которые еще в шестидесятых – семидесятых годах прошлого века без всякого компьютера, с помощью карандаша и бумаги, выводили уравнения, описывающие такие модели (см., например, Marr, 1971; Amari, 1972). Но подлинный взлет коннекционизма наступил в 1980-х, с появлением программных работ Джона Хопфилда (Hopfield, 1982; Hopfield, Tank, 1986). С помощью редкостных математических методик, позаимствованных из области физики, именуемой теорией спиновых стекол, физики-теоретики сумели с блеском рассчитать емкость памяти – путем статистической обработки результатов исследования эффектов перекрывания клеточных ансамблей (Amit, 1989; Mezard, Parisi и Virasoro, 1987; Amit et al., 1985). К 1990-м годам пыл этих исследователей несколько поутих, однако они успели выявить массу любопытных свойств данных моделей. Примерно в это же время «PDP Research Group», коллектив ученых-когнитивистов, опубликовал двухтомный манифест, содержащий множество интересных коннекционистских моделей и оказавший большое влияние на дальнейшее развитие науки (Rumelhart, McClelland, 1986).

…статью «Проблема серийности и порядка в поведении»… Лешли приписывал создание «модели ассоциативной цепочки» британскому психологу Эдварду Титченеру, цитируя его книгу 1909 года. На самом деле оба автора имели в виду скорее цепочки психологических ассоциаций, чем нейронные связи. Нейробиолог Лешли почему-то не использовал в своей статье термин «синапс». Тем не менее из текста статьи явствует: речь идет именно о синаптических цепочках.

…бесконечное количество разнообразных последовательностей сигналов. Должны также существовать места, где две цепочки сливаются в одну, иначе нам бы очень скоро не хватило нейронов. (Мы имели бы дело с геометрической прогрессией, и уже после 40-го ветвления необходимое число нейронов превысило бы триллион. – Прим. перев.)

…проблемы синтаксиса. В том же русле критики лежат возражения некоторых ученых-компьютерщиков, заявляющих, что взаимоотношения между идеями богаче и сложнее, нежели простое ассоциирование. Сказать, что идеи рыбы и воды связаны друг с другом (ассоциированы), не означает полностью описать их взаимодействие и взаимозависимость. Куда информативнее сообщить, что рыба живет в воде. Специалисты по искусственному интеллекту представляют такие взаимодействия в виде «семантической сети» (семантического поля), которая выглядит как коннектом, только над каждой стрелкой в ней надписан тип связи.

…пытались отвечать на второе возражение Лешли… Эти коннекционистские модели достигают большей вычислительной мощи благодаря включению в них скрытых переменных – чтобы усилить роль переменных, которые используются для выражения неявных идей и понятий.

Глава 5. Собирание воспоминаний

…камни весом по две с половиной тонны… Каменные блоки пирамид отличаются по размерам. Мы приводим здесь их приблизительную среднюю массу (см.: Petrie, 1883). Большинство блоков состояли из известняка, но имелись среди них и гранитные.

…2,3 миллиона блоков… Petrie, 1883.

…сотни тысяч рабочих… Как писал Геродот, сто тысяч рабов двадцать лет трудились над тем, чтобы переправить эти блоки из отдаленной каменоломни к пирамиде. Многие современные египтологи не согласны с этой оценкой: они полагают, что главные каменоломни находились поблизости от места строительства, что количество строителей было меньше и что они не были рабами.

«В уме у человека существует как бы восковая доска…» Платон, «Theatetus».

Затем специальным инструментом с плоским краем воск разглаживали… Draasima, 2000.

Скульпторы и инженеры… Термин «пластичность» пришел из материаловедения. Пластичный материал сохраняет новую форму после деформации; эластичный же материал после деформации быстро обретает первоначальную форму снова. Поскольку воск пластичен, он может сохранять отпечатки, а значит, удерживать в себе информацию о прошлом. В техническом смысле прилагательное «пластичный» описывает отклик материалов на деформацию.

…это явление я называю рекомбинацией связей. Различие между изменением синаптического веса (ИСВ) и рекомбинацией связей проявляется четче всего, если между нейроном А и нейроном Б есть самое большее один синапс (как это обычно и предполагается в рамках данной главы). Различие размывается, если между А к Б больше одного синапса: тогда при возникновении и последующем исчезновении синапсов какие-то нейроны могут оставаться связанными, будет меняться лишь число импульсов, которые нейрон А посылает нейрону Б. Это, в свою очередь, изменит «удельный вес» голосов нейрона А в импульсообразовании нейрона Б, в итоге вызвав скорее ИСВ, нежели рекомбинацию связей.

В 1960-е годы нейробиологи полагали… Я говорю о «большинстве нейробиологов», скорее опираясь на разговоры профессионалов, мне трудно документировать это утверждение. Один из примеров – австралийский нейробиолог сэр Джон Эклс, который писал, что процесс обучения (усвоения новой информации) включает в себя «всего-навсего укрупнение и рост эффективности тех синапсов, что уже существуют, а не выращивание новых связей» (Eccles, 1965). Розенцвейг (Rosenzweig, 1996) представил исторический обзор проблемы с точки зрения нейробиолога, но этот вопрос следует изучить историкам науки.

…возникают и исчезают даже в мозгу взрослого человека. Ученые наблюдали также, как дендритные шипики меняются в размерах, а значит, синапсы при этом, возможно, изменяют свою силу.

Рис. 23. Данные, которые легли в основу этого изображения, получены в ходе эксперимента, описанного в: Yang, Pan, Gan, 2009.

…подсчитывая синапсы… Greenough, Black, Wallace, 1987.

…предложить неофренологическую теорию… Некоторые исследователи обращали внимание не только на количество синапсов, но и на их размеры. Есть свидетельства, что размер синапса коррелирует с его силой. Ученые обнаружили, что «обогащенная» среда увеличивает средний размер синапсов коры головного мозга подопытных крыс. Однако не следует напрямую связывать обучение с увеличением размера синапсов, как и с увеличением их количества. В ходе других аналогичных экспериментов было показано, что средний размер синапсов, напротив, уменьшается. Какая из этих тенденций будет доминировать, определяется тем, в каком месте коры располагаются синапсы и какой слой нейронов вовлечен в их возникновение.

Правило, описывающее последовательную активацию нейронов, предложил Дональд Хебб. Hebb, 1949. «Последовательное» правило также предложил еще в конце XIX века шотландский философ Александр Бэйн (Alexander Bain, см.: Wilkes, Wade, 1997), но его теорию не приняли всерьез. Возможно, Бэйн родился слишком рано: в ту эпоху еще мало знали о мозге. Сам он знал о нервных волокнах и нервных путях, догадывался о существовании связей между отдельными путями, но существование нейронов или синапсов еще не стало тогда общепризнанным фактом.

…хеббовская пластичность описывает лишь синапсы между возбуждающими нейронами. О пластичности синапсов между ингибирующими нейронами известно меньше, так что мы здесь о ней говорить не будем. По распространенному мнению, связи между возбуждающими нейронами более избирательны и специфичны, они сильнее подвержены воздействию процесса обучения. Те же связи, что включают в себя ингибирующие нейроны, относительно «неразборчивы» и, возможно, менее подвержены воздействию обучения.

…выделить сигнал единичного нейрона… Этот метод (названный «записью единичного сигнала») впервые опробовал английский ученый Эдгар Эдриан (Edgar Adrian), получивший в 1932 году Нобелевскую премию по физиологии и медицине, а позже – титул лорда.